अक्टूबर 2003 में स्थापित की गई एक स्टार्ट अप कम्पनी एंड्रॉयड इंक ने एंड्रॉयड ओएस का निर्माण किया था। आरंभ के दिनों में कम्पनी लाइनक्स पर आधारित एक ऐसा ओएस बनाना चाहती थी जो कि उस समय बाजार मे छाये डिजिटल कैमरा को अधिक उपयोगी और सक्षम बना सके। परंतु जल्दी ही उन्हें लगने लगा कि शायद इससे उन्हें बाजार में बहुत अधिक ग्राहक न मिलें। इसके फलस्वरूप कम्पनी में पैसा लगाने वाले लोगों को प्रभावित करने के लिए उन्होंने अपना ध्यान मोबाइल (हाथों में पकड़े जाने वाले चलित यंत्र) पर केंद्रित किया। आरंभ के दिनों में उन्हें कठिनाइयों का सामना करना पड़ा, लेकिन यह समय वह था, जब सिलिकॉन वैली में यदि कोई कह भी देता था कि वह किसी नये आइडिया पर काम कर रहा है तो पैसे लगाने के लिए उन्हें निवेशक आसानी से मिल जाते थे। बाजार डाट काम में धोखा खा चुकी थी लेकिन निवेशक अभी भी उभरती हुई संभावनाओं पर पैसा लगाने के लिए बेताब थे। अंदाजा इस बात से लगाया जा सकता है कि अक्टूबर 2003 में कम्पनी खुली और आरंभ के दिनों में पैसे की किल्लत होने के बाद भी डेढ़ वर्ष के अंतराल में ही गूगल ने इस कम्पनी को 50 मिलियन से अधिक डॉलर की कीमत देकर खरीद लिया।

एंड्रॉयड का आपरेटिंग सिस्टम वास्तव में लाइनक्स पर आधारित होता है। इसमें पाँच स्तर होते हैं। इनमें सबसे निचला अथवा मूलभूत स्तर लाइक्स कर्नल का होता है। जिस प्रकार माइक्रोप्रोसेसर कम्पयूटर हार्डवेयर का मस्तिष्क होता है उसी प्रकार कर्नल आपरेटिंग सिस्टम सॉफ्टवेयर का मस्तिष्क होता है। मानव मस्तिष्क की तरह ही कर्नल एंड्रायड सिस्टम के साफ्टवेयर और सहायक ऐप्लीकेशन के माध्यम से अन्य कार्यकलापों का संचालन करता है।

नीचे से दूसरे स्तर को एचएएल अर्थात् हार्डवेयर एब्स्ट्रेक्शन लेयर कहते हैं। इस स्तर के साफ्टवेयर का मुख्य कार्य है स्थूल रूप से अवयवों अथवा अंगो की पहचान करना और उनका संचालन करना। उदाहरण के लिए हमारा मस्तिष्क हमारे हाथों अथवा पैरों को चलाने के लिए चलने या हाथ से किसी वस्तु को पकड़ने का आदेश देता है। इन कार्यों को करने के लिए हमें हाथों और पैेरों की रक्त शिराओँ, धमनियों, माँस-पेशियों अथवा हड्डियों का संपूर्ण ज्ञान होने की आवश्यकता नहीं होती है। ऐसा इसलिए है क्योंकि लाखों वर्षों की प्रगति नें हमारे मस्तिष्क को इस प्रकार अभ्यस्त बना दिया है कि हमारे हाथ, पैर और शरीर के अन्य अंग एचएएल (हार्डवेयर एब्सट्रेक्शन लेयर) में आ गये हैं।

तीसरे स्तर पर सिस्टम सेवाएँ होती हैं। एंड्रॉएड फोन आन होने पर आपसी संचार के लिए सेवाएँ लगातार काम करती रहती है। इनमें से कुछ मूलभूत सिस्टम सेवाएँ होती है जो कि हमेशा चलती रहती है, वहीं कुछ सेवाएँ आपके द्वारा चलाई गई ऐप के चलने पर प्रारंभ होती हैं।

चौथे स्तर पर बाइंडर आईपीसी होते हैं। साधारण अर्थों में इस स्तर पर सिस्टम में चलने वाली सेवाओं के मध्य सूचनाओं के आदान-प्रदान का काम होता है। जैसे यदि कोई ऐप्लीकेशन अपना कार्य करने के लिए अधिक मेमोरी अथवा डिस्क में स्पेस चाहती है तो वह इस बारे में कर्नल को सूचित करती है। इसी प्रकार यदि कोई ऐप्लीकेशन ध्वनि का प्रयोग करके ध्वनियाँ निकालना चाहती है तो वह फोन में लगे स्पीकर सिस्टम से बातचीत करती है।

पाँचवे और सबसे ऊपरी स्तर पर एंड्रायड ऐप्लीकेशन फ्रेमवर्क होता है। एंड्रॉयड के लिए ऐप्लीकेशन (एप) बनाने वाले अधिकतर प्रोग्रामर इसी स्तर पर कार्य करते हैं। अधिकांशतः एंड्रॉयड ऐप जावा नामक कम्प्यूटर की भाषा में लिखी जाती है। इस स्तर पर काम करने और ऐप बनाने के काम को आसान करने के लिए एंड्रॉयड सॉफ्टवेयर में सॉफ्टवेयर की कुछ विशेष निर्देश होते हैं। साधारण तौर पर एक एंड्रॉयड ऐप में विभिन्न कार्यों को पूरा करने के लिए कई छो़टे-बड़े प्रोग्राम होते हैं। इस प्रकार बिखरे हुए प्रोग्रामों को एंड्रॉयड सॉफ्टवेयर डेवलेपमेंट टूल किट (SDK) का प्रयोग करके प्रोग्रामर ऐप को आसानी से बनाकर एक पैकेज में बाँध लेता है। सारी जाँच इत्यादि आदि पूरी हो जाने के बाद इसे गूगल प्ले स्टोर पर अन्य प्रयोगकर्ताओँ के लिए उपलब्ध करवा देता है। जब आप गूगल प्ले स्टोर से कोई ऐप डाउनलोड करते हैं तो आपको इसी प्रकार का पैकेज मिलता है, जिसे डाउनलोड करने के बाद आप इंस्टालर प्रोग्राम का प्रयोग कर आप ऐप अपने फोन पर अद्तित करके उसका लाभ उठाते हैं। इंस्टालर प्रोग्राम सामान्यतः सिस्टम सर्विस का ही एक हिस्सा होता है।